Closed-Form Spectral Regularization for Multi-Task Model Merging
多任务模型合并的闭式谱正则化方法
🧭 模型合并 · 谱正则化 ★ 深度解读
Tsinghua University · Sun Yat-sen University · Nanyang Technological University
将模型合并视为带噪线性逆问题，用闭式谱滤波替代迭代优化，加速28-72倍且精度不减
📌 工作参考价值（4 点）
- 多任务模型合并的加速与显存优化：电商推荐系统中常需合并多个专用模型（如CTR、CVR、多目标专家），SWUDI/SWUDI-A 的闭式解可替代 WUDI 的数百步 Adam 迭代，将合并时间从数十分钟降至分钟级，显存占用减少 50%，适合线上快速迭代与多模型部署。
- 噪声抑制的谱截断策略：合并不同任务向量时，小特征值方向会放大代理噪声，硬截断（hard truncation）可以将其直接归零，防止合并时性能退化。这一思路可直接用于推荐场景中合并多个 LoRA 适配器或任务向量，提升多任务融合稳定性。
- 自适应层维秩选择：SWUDI-A 无需手动设置全局秩阈值，利用参与比率平方根规则或 Gavish-Donoho 阈值自动决定每层保留的特征值个数，适配不同架构（视觉/语言/多模态）。在推荐模型中，不同层对任务冲突的敏感度不同，自适应规则能减少调参成本，提高合并鲁棒性。
- 数据无关与测试时适配结合：闭式谱合并结果可与 AdaMerging 等测试时适应方法正交，作为 data-free 初始化进一步提升精度。在 agent 多智体系统中，可先融合专家模型再根据少量在线反馈微调，兼顾效率和效果。